인공지능 검색 봇으로 인한 조회수 증가 문제와 수정 안내(2)
필고
쪽지전송
Views : 9,008
2024-11-22 11:17
자유게시판
1275578470
|
[ 필고 홈페이지 운영 관련 안내: 인공지능 검색 봇 문제와 수정 안내 ]
안녕하세요, 필고 회원님들께,
최근 며칠 사이, 필고의 글 조회수가 비정상적으로 증가한 것을 확인하셨을 겁니다. 이는 검색 봇(Search Engine Bot Crawler), 특히 인공지능(AI) 기반 검색 봇의 급증 때문입니다.
* 수정 조치 안내
- 검색 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 인공지능 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 유해성 접속 처럼 보이는 또는 유사한 접속에 대해서 조회수 증가하지 않음
* 문제의 원인
필고는 과거에 서버 속도 저하를 방지하기 위해 구글과 네이버 검색 봇만 허용하고 나머지 봇은 차단했었습니다. 하지만 최근 서버 증설로 성능이 향상되면서, 자신감을 가지고 모든 검색 봇의 접근 뿐만아니라 모든 IP 접속을 해제(허용)하였습니다.
그 결과, 구글, 빙, 네이버, 페이스북, 트위터 같은 대형 플랫폼부터 ChatGPT, Claude, Perplexity 등 AI 기반 크롤러와 알려지지 않은 수많은 검색 봇까지 필고 데이터를 경쟁적으로 수집하고 있습니다. 특히, 인공지능 봇들이 필고 데이터를 활용해 자신의 플랫폼 사용자들에게 가공된 정보를 제공하는 사례가 늘어나고 있어, 서버에 심각한 부하를 초래하고 있습니다.
* 주요 문제점
- 대형 AI 봇의 경쟁적인 데이터 수집
- 중소 규모 및 알려지지 않은 검색 봇의 무분별한 크롤링
- 각종 공격성을 띈 접속들이 서버 부하 가중
* 해결 방안
현재 상황을 해결하기 위해 아래와 같은 조치를 검토하고 있습니다:
- 모든 검색 봇 및 유해성 접속을 다시 차단
- 글 조회 기능을 아예 없애기
- 검색 봇 접속 시 조회수 증가를 차단 (가장 유력한 방안)
검색 봇을 통한 조회수는 차단이 된 상태이지만, 인공지능 AI 를 통한 크롤링과 고스트 접속 또는 공격성 접속이 조회수를 증가 시키고 있다고 판단하고 있습니다.
필고의 글/코멘트/사진들은 회원님들의 소중한 노력과 자산이며, AI와 검색 봇들이 필고 데이터를 활용하여 그 효과를 더욱 증대 시킬 수 있습니다.
열심히 노력을 하고 있으니, 조금 더 기다려주시면 감사하겠습니다.
감사합니다.
안녕하세요, 필고 회원님들께,
최근 며칠 사이, 필고의 글 조회수가 비정상적으로 증가한 것을 확인하셨을 겁니다. 이는 검색 봇(Search Engine Bot Crawler), 특히 인공지능(AI) 기반 검색 봇의 급증 때문입니다.
* 수정 조치 안내
- 검색 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 인공지능 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 유해성 접속 처럼 보이는 또는 유사한 접속에 대해서 조회수 증가하지 않음
* 문제의 원인
필고는 과거에 서버 속도 저하를 방지하기 위해 구글과 네이버 검색 봇만 허용하고 나머지 봇은 차단했었습니다. 하지만 최근 서버 증설로 성능이 향상되면서, 자신감을 가지고 모든 검색 봇의 접근 뿐만아니라 모든 IP 접속을 해제(허용)하였습니다.
그 결과, 구글, 빙, 네이버, 페이스북, 트위터 같은 대형 플랫폼부터 ChatGPT, Claude, Perplexity 등 AI 기반 크롤러와 알려지지 않은 수많은 검색 봇까지 필고 데이터를 경쟁적으로 수집하고 있습니다. 특히, 인공지능 봇들이 필고 데이터를 활용해 자신의 플랫폼 사용자들에게 가공된 정보를 제공하는 사례가 늘어나고 있어, 서버에 심각한 부하를 초래하고 있습니다.
* 주요 문제점
- 대형 AI 봇의 경쟁적인 데이터 수집
- 중소 규모 및 알려지지 않은 검색 봇의 무분별한 크롤링
- 각종 공격성을 띈 접속들이 서버 부하 가중
* 해결 방안
현재 상황을 해결하기 위해 아래와 같은 조치를 검토하고 있습니다:
- 모든 검색 봇 및 유해성 접속을 다시 차단
- 글 조회 기능을 아예 없애기
- 검색 봇 접속 시 조회수 증가를 차단 (가장 유력한 방안)
검색 봇을 통한 조회수는 차단이 된 상태이지만, 인공지능 AI 를 통한 크롤링과 고스트 접속 또는 공격성 접속이 조회수를 증가 시키고 있다고 판단하고 있습니다.
필고의 글/코멘트/사진들은 회원님들의 소중한 노력과 자산이며, AI와 검색 봇들이 필고 데이터를 활용하여 그 효과를 더욱 증대 시킬 수 있습니다.
열심히 노력을 하고 있으니, 조금 더 기다려주시면 감사하겠습니다.
감사합니다.
@알림 : 코멘트를 작성하시려면 로그인을 하십시오.
No. 97320
Page 1947
Reminder :
인공지능 GPT-4o Mini 적용 안내
Reminder :
필고 닉네임 업데이트 안내
( 12 )
산속 오지생활 체험 (10)
143281
1,952
13:06
자동차거래중 한국인 납치 및 도난사건 (7)
88seoulcars
3,103
11:13
서부 지법 방화 미수범 투블럭 돼지 (2)
planet lonely
3,108
08:24
사기꾼 김대현(에릭) (3)
1102ed
6,416
25-01-22
사기꾼 김대현(에릭) (1)
1102ed
4,815
25-01-22
사기꾼 김대현(에릭) (2)
1102ed
4,893
25-01-22
자동차 책임보험 연장하기 (1)
hikim
2,678
25-01-22
민주당 자폭방식. (8) 2
Phil Inv
11,311
25-01-21
민주파출소에 이어 댓글부대 논란 (14) 2
lisaperry
15,110
25-01-21
중국인 99명 체포설이 거짓이라는 좌파 조선일보와 주한미군 (8)
Justin Kang@구글-q...
8,283
25-01-21
어찌 이렇게 악할수 있나..... (6)
Altair
9,407
25-01-20
[사진] 마사랍 한국라면~ (10) 1
Christiana
21,327
25-01-20
가입인사 드립니다 (2)
박지훈-4
3,637
25-01-20
스마트통신 1년치 요금 결제후 카드번호 요청 (4)
Mitchell Ethan
4,114
25-01-20
민감한 정치글은 자재 부탁드려요 (7) 1
pak2140
11,396
25-01-20
계엄 내란 폭동 습격의 결과 (1) 1
Phil Inv
5,302
25-01-20
현직 판사도 공수처의 수사권에 의문 제기 (33) 1
lisaperry
34,068
25-01-20